在Enocentric视频中，行动在快速连续中发生。我们利用了行动的时间背景，并提出了一种学习参加周围行动的方法，以提高识别性能。为了纳入时间上下文，我们提出了一种基于变换器的多模式模型，可将视频和音频作为输入模式摄取，具有显式语言模型，提供动作序列上下文来增强预测。我们在史诗厨房和EGTEA数据集上测试我们的方法，报告最先进的性能。我们的消融展示了利用时间上下文的优势以及将音频输入模态和语言模型结合到Rescore预测。代码和模型在：https://github.com/ekazakos/mtcn。

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

The crystallization of modeling methods around the Transformer architecture has been a boon for practitioners. Simple, well-motivated architectural variations can transfer across tasks and scale, increasing the impact of modeling research. However, with the emergence of state-of-the-art 100B+ parameters models, large language models are increasingly expensive to accurately design and train. Notably, it can be difficult to evaluate how modeling decisions may impact emergent capabilities, given that these capabilities arise mainly from sheer scale alone. In the process of building BLOOM--the Big Science Large Open-science Open-access Multilingual language model--our goal is to identify an architecture and training setup that makes the best use of our 1,000,000 A100-GPU-hours budget. Specifically, we perform an ablation study at the billion-parameter scale comparing different modeling practices and their impact on zero-shot generalization. In addition, we study the impact of various popular pre-training corpora on zero-shot generalization. We also study the performance of a multilingual model and how it compares to the English-only one. Finally, we consider the scaling behaviour of Transformers to choose the target model size, shape, and training setup. All our models and code are open-sourced at https://huggingface.co/bigscience .

我们介绍了一种新的图像取证方法：将物理折射物（我们称为图腾）放入场景中，以保护该场景拍摄的任何照片。图腾弯曲并重定向光线，因此在单个图像中提供了多个（尽管扭曲）的多个（尽管扭曲）。防守者可以使用这些扭曲的图腾像素来检测是否已操纵图像。我们的方法通过估计场景中的位置并使用其已知的几何和材料特性来估算其位置，从而使光线通过图腾的光线不十障。为了验证图腾保护的图像，我们从图腾视点重建的场景与场景的外观从相机的角度来检测到不一致之处。这样的方法使对抗性操纵任务更加困难，因为对手必须以几何一致的方式对图腾和图像像素进行修改，而又不知道图腾的物理特性。与先前的基于学习的方法不同，我们的方法不需要在特定操作的数据集上进行培训，而是使用场景和相机的物理属性来解决取证问题。

视觉宣传活动的挑战性输入设置之一是，当初始摄像头视图相距甚远时。这样的设置很困难，因为宽的基线会导致物体外观发生巨大变化并引起阻塞。本文为宽基线图像提供了一种新颖的自我监督的视觉伺服伺服方法，这不需要3D地面真相监督。回归绝对相机相对于对象的现有方法需要以3D边界框或网格的形式的对象的3D地面真实数据。我们通过利用称为3D均衡的几何特性来了解连贯的视觉表示形式 - 表示表示作为3D转换的函数以可预测的方式进行转换。为了确保功能空间忠实于基础的大地测量空间，地球保留的约束与均衡相结合。我们设计了一个暹罗网络，该网络可以有效地强制执行这两个几何特性，而无需3D监督。借助学习的模型，可以简单地通过在学习空间中的梯度并用作闭环视觉陶器的反馈来推断相对转换。我们的方法对来自YCB数据集的对象进行了评估，在使用3D监督的最新方法方面显示了视觉伺服任务上有意义的超越性能或对象对齐任务。我们的平均距离误差降低超过35％，成功率超过90％，误差耐受性。

使用量子卷积神经网络（QCNN）的机器学习在量子和经典数据分类中都取得了成功。在先前的研究中，在少数参数制度中，在相同的训练条件下，QCNN的分类准确性比其经典对应物具有更高的分类精度。但是，由于量子电路的大小有限，因此很难检查大规模量子模型的一般性能，这可以在不久的将来可靠地实施。我们建议转移学习是在嘈杂的中间量子量子时代利用小QCNN的有效策略。在经典到量词转移学习框架中，QCNN可以通过使用预训练的经典卷积神经网络（CNN）来解决复杂的分类问题，而无需大规模量子电路。我们对QCNN模型进行了数值模拟，并在转移学习下对MNIST数据分类进行了各种量子卷积和汇总操作，其中经典的CNN经过了时尚持续数据的培训。结果表明，在相似的训练条件下，从经典到量子CNN的转移学习比纯粹的经典转移学习模型要好得多。

非本地（NL）块是一个流行的模块，它展示了模拟全局上下文的功能。但是，NL块通常具有沉重的计算和记忆成本，因此将块应用于高分辨率特征图是不切实际的。在本文中，为了研究NL块的功效，我们经验分析了输入特征向量的大小和方向是否正确影响向量之间的注意力。结果表明，SoftMax操作的效率低下，该操作通常用于将NL块的注意力图归一化。通过软磁性操作归一化的注意力图极大地依赖于关键向量的大小，并且如果删除幅度信息，则性能将退化。通过用缩放系数替换SoftMax操作，我们证明了CIFAR-10，CIFAR-100和TININE-IMAGENET的性能提高。此外，我们的方法显示了嵌入通道减少和嵌入重量初始化的鲁棒性。值得注意的是，我们的方法在没有额外的计算成本的情况下使多头注意力可用。

归纳转移学习旨在通过利用源任务中的预训练模型来从少量培训数据中学习目标任务。大多数涉及大规模深度学习模型的策略采用预先培训的模型和进行目标任务进行初始化。但是，当使用过度参数化模型时，我们通常可以在不牺牲源任务的准确性的情况下修剪模型。这促使我们采用模型修剪来通过深度学习模型进行转移学习。在本文中，我们提出了PAC-NET，这是一种简单而有效的方法，用于基于修剪的转移学习。 PAC-NET由三个步骤组成：修剪，分配和校准（PAC）。这些步骤背后的主要思想是确定源任务的基本权重，通过更新基本权重来微调源任务，然后通过更新剩余的冗余权重来校准目标任务。在各种广泛的感应转移学习实验集中，我们表明我们的方法通过很大的边距实现了最先进的性能。

基于训练学习的脱毛方法需要大量的模糊和尖锐的图像对。不幸的是，现有的合成数据集还不够现实，对其进行训练的Deblurring模型无法有效处理真正的模糊图像。尽管最近提出了真实的数据集，但它们提供了有限的场景和相机设置，并且为不同的设置捕获真实数据集仍然具有挑战性。为了解决这一问题，本文分析了各种因素，这些因素引入了真实和合成模糊图像之间的差异。为此，我们提出了RSBlur，这是一个具有真实图像的新型数据集和相应的尖锐图像序列，以详细分析真实和合成模糊之间的差异。使用数据集，我们揭示了不同因素在模糊生成过程中的影响。基于分析，我们还提出了一种新型的模糊合成管道，以综合更现实的模糊。我们表明，我们的合成管道可以改善实际模糊图像上的脱毛性能。